Стартап SiMa.ai анонсировал специализированные изделия Modalix — «системы на чипе» с функциями машинного обучения (MLSoC), спроектированные для обработки ИИ-задач на периферии. Эти решения предназначены для дронов, робототехники, умных камер видеонаблюдения, медицинского диагностического оборудования, edge-серверов и пр.

В семейство Modalix входя четыре модификации — М25, М50, М100 и М200 с ИИ-производительностью 25, 50, 100 и 200 TOPS соответственно (BF16, INT8/16). Изделия наделены процессором общего назначения с восемью ядрами Arm Cortex-A65, работающими на частоте 1,5 ГГц. Кроме того, присутствует процессор обработки сигналов изображения (ISP) на базе Arm Mali-C71 с частотой 1,2 ГГц. В оснащение входят 8 Мбайт набортной памяти. Изделия производятся по 6-нм технологии TSMC и имеют упаковку FCBGA с размерами 25 × 25 мм.

Источник изображения: SiMa.ai

Чипы Modalix располагают узлом компьютерного зрения Synopsys ARC EV-74 с частотой 1 ГГц. Говорится о возможности декодирования видеоматериалов H.264/265/AV1 в формате 4K со скоростью 60 к/с и кодировании H.264 в формате 4K со скоростью 30 к/с. Реализована поддержка восьми линий PCIe 5.0, четырёх портов 10GbE, четырёх интерфейсов MIPI CSI-2 (по четыре линии 2.5Gb), восьми каналов памяти LPDDR4/4X/5-6400 (до 102 Гбайт/с). Таким образом, по словам SiMa.ai, Modalix покрывает практически весь цикл работы с данными, не ограничиваясь только ускорением ИИ-задач.

Источник изображения: SiMa.ai

По заявлениям SiMa.ai, чипы Modalix можно применять для работы с большими языковыми моделями (LLM), генеративным ИИ, трансформерами, свёрточными нейронными сетями и мультимодальными приложениями. Среди возможных вариантов использования названы медицинская визуализация и роботизированная хирургия, интеллектуальные приложения для розничной торговли, автономные транспортные средства, беспилотники для инспекции зданий и пр. Есть поддержка популярных фреймворков PyTorch, ONNX, Keras, TensorFlow и т.д. Также предоставляется специализированный набор инструментов под названием Pallet, упрощающий создание ПО для новых процессоров.

Корпорация Intel раскрыла некоторые технические характеристики SoC Xeon 6 поколения Granite Rapids-D, предназначенных для периферийных решений (edge), в том числе на базе платформы Intel Tiber Edge. Изделия, использующие чиплетную компоновку, появятся на рынке в 2025 году.

Процессоры базируются на производительных P-ядрах Redwood Cove. Каждое ядро получило по 64 Кбайт L1-кеша для инструкций и данных, а также L2-кеш объёмом 2 Мбайт. Конструкция SoC включает один или два вычислительных тайла, а также тайл ввода-вывода (I/O), отвечающий за реализацию PCIe, CXL и различных вспомогательных ускорителей. Вычислительные блоки производятся по техпроцессу Intel 3, IO-тайл — по техпроцессу Intel 4. Тайлы «сшиты» посредством EMIB.

Источник изображения: Intel

Xeon 6 Granite Rapids-D будут доступны в модификациях с поддержкой четырёх (2DPC) и восьми каналов памяти. Размеры BGA-упаковок — 77,5 × 50 мм и 77,5 × 56,5 мм соответственно. Говорится о поддержке DDR5-5600 м MCR-DIMM, 32 линий PCIe 5.0, 16 линий PCIe 4.0 и 16 линий CXL 2.0. Возможно использование до восьми Ethernet-портов 1/10/25GbE, до четырёх портов 50GbE или двух портов 100GbE. Ethernet-контроллер поддерживает классификацию пакетов и обработку ACL, предлагает различные планировщики и возможность программируемой обработки трафика.

Возможности Intel QAT (Quick Assist Technology) тоже значительно расширены. Во-первых, теперь в состав QAT входит медиаускоритель для обработки потокового видео на лету: (де-)кодирования и транскодирования, масштабирования, обрезки кадра и т.д. Говорится как минимум о поддержка 1080p@30 для AVC/HEVC/AV1. Видеопоток при необходимости можно тут же направить к процессорным ядрам с AMX. Во-вторых, появилась возможность в один проход сжать и зашифровать данные с попутной проверкой их целостности.

Источник изображения: Intel

Чипы также получили поддержку Intel DLB (Dynamic Load Balancer), Intel vRAN Boost, Intel Data Streaming Accelerator (DSA), Intel SGX (Software Guard Extensions), Intel TDX (Trust Domain Extensions). Кроме того, были значительно расширены возможности функции Intel RDT (Resource Director Technology), которая теперь позволяет отслеживать и управлять состоянием IO-устройств, включая PCIe, CXL, интегрированных ускорителей и т.д.

Встроенные ИИ-возможности обеспечивает более чем 8-кратный прирост быстродействия в Resnet-50 и более чем 6-кратное увеличение производительности в Visual Transformer по сравнению с Xeon D 2899NTN предыдущего поколения (с AVX512 VNNI) благодаря новым инструкциям AMX. Поддерживается работа в режиме FP16.

Intel пока не раскрывает максимальное количество вычислительных ядер у Xeon 6 Granite Rapids-D. Но в ходе презентации был упомянут вариант с 42 ядрами, работающий в связке со 128 Гбайт памяти DDR5-5600/4800. Процессоры будут предлагаться в версиях, оптимизированных для вычислительных нагрузок и edge-приложений с ИИ-функциями.

Компания Xperi объявила о заключении соглашения по продаже своего подразделения Perceive, которое занимается разработкой специализированных ИИ-чипов. Покупателем является Amazon, сумма сделки составляет $80 млн в виде денежных средств. Завершить поглощение планируется до конца 2024 года.

Perceive со штаб-квартирой в Сан-Хосе (Калифорния, США) создаёт ИИ-решения для работы с большими языковыми моделями (LLM) на периферийных устройствах. Такое оборудование обычно обладает ограниченными возможностями в плане вычислительных ресурсов, средств подключения и хранения данных. Чипы Perceive проектируются с учетом особенностей edge-платформ.

В частности, Perceive разработала процессор Ergo AI. Утверждается, что он позволяет запускать «нейронные сети ЦОД-класса» даже на устройствах с самыми жёсткими требованиями к энергопотреблению. Это могут быть системы конференц-связи и носимые гаджеты. Отмечается, что Ergo AI может поддерживать самые разные ИИ-нагрузки — от классификации и обнаружения объектов до обработки аудиосигналов и языка.

Источник изображения: Perceive

Как именно Amazon намерена использовать решения Perceive, не уточняется. Но известно, что Amazon приобретает разработчика ИИ-чипов через своё подразделение Devices & Services, в которое входят голосовой помощник Alexa, интеллектуальные колонки и устройства серий Echo и Fire TV.

Ожидается, что сделка не потребует одобрения со стороны регулирующих органов. После поглощения большинство из 44 сотрудников Perceive присоединятся к Amazon. Perceive, которую возглавляют со-генеральные директоры Мурали Дхаран (Murali Dharan) и Стив Тейг (Steve Teig), имеет сотрудников в США, Канаде, Ирландии, Румынии и Эстонии. Лаборатория Perceive в Бойсе (Айдахо, США) продолжит функционировать.

Нужно отметить, что подразделение Amazon Web Services (AWS) уже не один год разрабатывает собственные аппаратные решения для ИИ-задач и облачных платформ. Это, в частности, чипы семейства Graviton и ИИ-ускорители Trainium. В конце 2023 года дебютировало изделие Graviton4 с 96 ядрами Arm для широкого спектра нагрузок. К выпуску готовится мощный ускоритель Trainium 3, энергопотребление которого может достигать 1000 Вт.

Armada, стартап из Сан-Франциско (Калифорния, США), специализирующийся на разработке решений для периферийных вычислений, объявил об успешном раунде финансирования на $40 млн, который возглавил M12 (венчурный фонд Microsoft). С момента выхода в прошлом году из скрытого режима (stealth mode) стартап уже привлёк с учётом этой суммы более $100 млн инвестиций.

В рамках инвестиционной сделки решения Armada появятся в маркетплейсе Azure Marketplace. Как сообщил стартап, это позволит клиентам Azure придерживаться выделенного бюджета на использование решений Armada и сделает его технологию «более доступной, чем когда-либо».

Armada предлагает защищённые автономные модули ЦОД Galleon в стандартных 20′ и 40′ грузовых контейнерах, которые включают три и шесть стоек соответственно, платформу управления устройствами и вычислениями Edge и приложения Edge/AI, специально разработанные для использования на периферии и работающие локально или в облаке.

Также Armada предлагает Commander Connect, комплексную платформу для мониторинга и управления IIoT-активами, включая терминалы Starlink, собственно ЦОД Galleon и другие подключённые устройства, такие как дроны, датчики, камеры и транспортные средства. Её основное назначение — предоставить доступ к интернету и облегчить удалённое или локальное управление экосистемой через «единое окно».

Источник изображения: Armada

Как сообщает Armada, «используя надёжную инфраструктуру Azure, Commander Connect предлагает беспрецедентную масштабируемость, безопасность и производительность для периферийных вычислений корпоративного уровня». Стоимость использования Commander Edge начинается от $450 тыс./год, Commander Connect — $50 тыс./год.

Ранее Armada объявила о партнёрстве с Halliburton, Pivotel, Edarat и Skydio, а также подписала соглашение с ближневосточной фирмой Edarat Group, занимающейся инженерным консалтингом в области ЦОД и облачных сервисов, о развёртывании 10 модулей Galleon в Персидском заливе и на Ближнем Востоке, уточняет DatacenterDynamics. При этом у Microsoft есть собственное предложение в этой области — микро-ЦОД Azure MDC в 40′ контейнере.

Компания NVIDIA сообщила о доступности комплексного решения AI Enterprise-IGX, которое, как утверждается, призвано удовлетворить растущую потребность в ИИ-вычислениях в реальном времени на периферии в таких областях, как медицина, промышленность и пр.

Продукт объединяет NVIDIA IGX и систему Holoscan, а также Isaac и Metropolis. Напомним, IGX — это платформа индустриального уровня для ИИ-вычислений на периферии, специально разработанная для промышленных и медицинских сред. Holoscan предоставляет собой полнофункциональную инфраструктуру, необходимую для масштабируемой программно-определяемой обработки потоковых данных в режиме реального времени на периферии.

Источник изображения: NVIDIA

Отмечается, что AI Enterprise-IGX предоставляет предприятиям новый уровень производительности, безопасности и поддержки для всего стека ПО для периферийных вычислений. В результате, упрощается и ускоряется развёртывание ИИ-приложений на периферии. Благодаря сочетанию NVIDIA AI Enterprise-IGX и Holoscan на базе IGX-платформ клиенты получают решение с гибкими возможностями интеграции сенсоров, высокой ИИ-производительностью и безопасностью для решения задач на периферии.

Источник изображения: NVIDIA

Вместе с тем NVIDIA объявила об обновлении самой аппаратной платформы IGX. В частности, для IGX Orin 700 (кодовое имя IGX Boardkit) реализована поддержка ускорителей NVIDIA RTX 6000 Ada, что обеспечивает ИИ-производительность до 1,705 TOPS — это в семь раз больше по сравнению с показателем, который достигается при использовании интегрированного GPU. Кроме того, появилась поддержка «системы на модуле» IGX Orin 500.

Источник изображения: NVIDIA

Говорится также, что программа сертификации NVIDIA-Certified Systems теперь распространяется на платформу IGX. Такие продукты готовят Advantech, Adlink, Aetina, Ahead, Cosmo Intelligent Medical Devices (подразделение Cosmo Pharmaceuticals), Dedicated Computing, Leadtek, Onyx, YUAN и др.

Вместе с тем многие компании, работающие в области медицинских технологий, включая Barco, Karl Storz, Medtronic и Moon Surgical, внедряют NVIDIA IGX с системой Holoscan для ускорения разработки ИИ-решений для медицинской диагностики, хирургических роботов, средств по уходу за пациентами и пр.

Корпорация IBM анонсировала компактный сервер POWER S1012 на платформе POWER10, предназначенный для решения ИИ-задач на периферии. Новинка будет предлагаться в двух вариантах исполнения — в корпусе башенного типа и в виде системы формата 2U половинной ширины, что позволит размещать в стандартной стойке два устройства бок о бок.

Решение оснащается модулем POWER10 eSCM с одним, четырьмя или восемью ядрами (3,0–3,9 ГГц) и 256 Гбайт памяти. Каждое ядро способно выполнять до восьми потоков инструкций одновременно (SMT8), благодаря чему максимальная конфигурация обеспечивает до 64 потоков. Заявленная пропускная способность памяти — до 102 Гбайт/с.

Источник изображений: IBM

Конфигурация POWER S1012 (Bonnell) может включать два слота PCIe 5.0 x8 или один слот PCIe 4.0 x16, а также дополнительный разъём PCIe 5.0 x8. Допускается установка четырёх накопителей NVMe U.2.

По заявлениям IBM, в плане производительности новинка втрое превосходит сервер POWER S814, поддержка которого закончится буквально на днях. Модификация в формате 2U половинной ширины позволяет сократить пространство для оборудования до 75 % по сравнению со стоечным сервером POWER S1014 (4U). Применение POWER S1012 на периферии даёт возможность выполнять определённые ИИ-задачи непосредственно в точке получения данных, что снижает задержки и уменьшает нагрузку на сетевые каналы.

Сервер POWER S1012 станет доступен у IBM и сертифицированных бизнес-партнёров 14 июня 2024 года. Клиенты смогут выбрать оптимальный для себя период поддержки в диапазоне от трёх до пяти лет. Кроме того, в зависимости от потребностей будут доступны дополнительные варианты обслуживания.

Компании Iceotope, HPE и Intel продемонстрировали на MWC 2024 ряд новинок для телекоммуникационной отрасли и edge-приложений. В частности, представлен сервер KUL RAN второго поколения с эффективной системой жидкостного охлаждения.

Edge-сервер KUL RAN первого поколения дебютировал в июне 2023 года. Он предназначен для развёртывания vRAN-платформ, сетей 5G и других сервисов связи. Применена полностью автономная СЖО Iceotope Precision Liquid Cooling. Новая модель KUL RAN выполнена в форм-факторе 2U. В основу положен сервер HPE ProLiant DL110 Gen11 на базе Intel Xeon Sapphire Rapids. Iceotope заявляет, что устройство может эксплуатироваться в «самых суровых условиях». Оно имеет защиту от тепловых ударов, пыли и влаги.

Диапазон рабочих температур простирается от -40 до +55 °C. Утверждается, что решение обеспечивает сокращение энергопотребления до 20 % по сравнению со стандартными телеком-серверами, тогда как частота отказов компонентов ниже на 30 %. Устройство KUL RAN второго поколения ориентировано на сети радиодоступа с низкими задержками и edge-задачи.

Iceotope также заявляет, что её технология Precision Liquid Cooling даёт возможность охлаждать процессоры с показателем TDP 1000 Вт и даже выше. Таким образом, система подходит для применения в мощных ИИ-серверах с высокой нагрузкой.

НРЕ показала на MWC 2024 и другие системы для телекоммуникационной отрасли и инфраструктур связи 5G. Это, в частности, сервер ProLiant RL300 Gen11 со 128-ядерным Arm-чипом Ampere. Устройство типоразмера 1U оборудовано десятью фронтальными отсеками для SFF NVMe SSD с интерфейсом PCIe 4.0, тремя слотами расширения PCIe 4.0 и двумя слотами OCP 3.0.

Наряду с анонсом процессоров Xeon Scalable пятого поколения компания Intel обновила и модельные ряды Xeon D и Xeon E. Изменений и нововведений в представленных чипах достаточно много. Так, модельный ряд Xeon D по традиции поделён на две ветви: Xeon D-1800 и Xeon D-2800.

Уже сериии Xeon D-1700 и D-2700 были адаптированы для работы в серверах периферийных вычислений и в составе сетевого оборудования. Напомним ключевые моменты:

• Интегрированный 100GbE-контроллер с RDMA iWARP/RoCE v2;
• Интегрированный коммутатор и обработчик пакетов у Xeon D-2700;
• До 32 линий PCI Express 4.0;
• Наличие Intel QAT, SGX и TME;
• Поддержка AVX-512, в том числе VNNI/DL Boost;
• Поддержка технологий TSN/TCC, критичных для систем реального времени.

Источник: Intel via ServeTheHome

Всё это характерно и для новых Xeon D-1800 и D-2800, ведь в их основе лежит прежняя архитектура Ice Lake-D. Речь всё ещё идёт о сочетании DDR4 и PCI Express 4.0, однако улучшения всё же есть: оптимизация техпроцесса позволила довести максимальное количество ядер до 22 против 20 у предыдущих моделей при неизменном теплопакете. Небольшой прирост производительности тоже есть — примерно 1,12-1,15х у старшей модели Xeon D-2800. Кроме того, процессоры Xeon D-1800, наконец, получили поддержку двух 100GbE-портов.

Источник: Intel

Одновременно с анонсом новых Xeon D состоялся анонс серии Xeon E-2400, которая заменит Xeon E-2300. Изменений здесь существенно больше. Во-первых, платформа перебралась с LGA 1200 на LGA 1700, а на смену ядрам Cypress Cove пришли Raptor Cove. И хотя E-ядер в составе CPU нет, Intel почему-то решила не активировать поддержку AVX-512. Во-вторых, существенный апгрейд претерпела подсистема памяти: вместо двух каналов DDR4-3200 теперь доступна пара каналов DDR5-4800.

Наконец, Xeon E-2400 получили поддержку PCI Express 5.0 — из 20 имеющихся процессорных линий 16 теперь способны работать именно в этом режиме. Подросла версия DMI с 3.0 до 4.0, а PCH новой платформы теперь предоставляет 20 линий PCIe 4.0 и 8 линий PCIe 3.0. Заодно с трёх до пяти выросло количество портов USB 3.2 Gen 2x2 (20 Гбит/с).

Источник: Intel via ServeTheHome

Максимальное число ядер в новой серии Xeon E осталось прежним — их всё ещё восемь, но благодаря существенно более быстрой памяти и использованию техпроцесса Intel 7 Ultra производительность новинок в среднем в 1,3 раза выше, чем у предшественников. Базовая частота подросла до 3,5 ГГц, в турборежим частота доходит до 5,6 ГГц, но при этом теплопакет не выходит за рамки 95 Вт. Нацелены Intel Xeon E-2400 на рынок серверов и облачных систем начального уровня.

Провайдер платформ доставки контента и приложений Akamai Technologies анонсировал сервис Connected Cloud, основанный на платформе Linode, приобретённой им в прошлом году. Connected Cloud представляет собой более распределённую альтернативу сервисам AWS или Azure. Также было объявлено о сниженной стоимости облачных вычислений за счёт более низкой платы за исходящий трафик благодаря «приведению экономики, подобной CDN, к облачной передаче данных».

Akamai поставила целью заполнить нишу, образовавшуюся между предложениями гиперскейлеров и провайдеров периферийных вычислений. Компания считает, что современные приложения зачастую разделяются на ряд различных микросервисов. Во многих случаях эти микросервисы должны быть распределены по географически обширной территории, что создаёт потребность в вычислительных ресурсах, отличных от тех, которые предлагает большинство поставщиков традиционных облачных услуг.

С одной стороны, по словам Akamai, есть гиперскейлеры, предлагающие мощные вычислительные сервисы в нескольких регионах. С другой стороны, есть провайдеры CDN, чьи сервисы менее масштабны и предназначены для использования в более крупных, но менее производительных периферийных вычислительных средах. Поэтому Akamai намерена создать инфраструктуру, занимающую промежуточное положение в этой иерархии.

Источник изображения: Akamai

Akamai досталось 11 площадок Linode, но компания планирует увеличить их количество более чем вдвое в 2023 году, а также удовлетворить потребности «промежуточного» рынка, добавив более 50 объектов для «распределённых» вычислений, «чтобы перенести базовые возможности облачных вычислений в труднодоступные места, которые в настоящее время не в полной мере обслуживаются традиционными поставщиками облачных услуг».

В частности, компания добавит к концу II квартала 2023 года три новых объекта в США и ещё 10 объектов по всему миру. Linode заявила, что к концу 2023 года они будут размещены в Индии, Бразилии, Индонезии, Японии, Швеции, Италии, Франции и Нидерландах. Компания сообщила ресурсу DCD, что эти объекты будут подключены к существующей сети Akamai CDN. Заказчикам будут доступны виртуальные машины и контейнеры, но в более в облечённом по сравнению с большими облаками варианте.

Кроме того, компания поменяла цены на исходящий трафик, что снизит затраты компаний, которым необходимо регулярно перемещать свои данные в облако и обратно. Также Akamai занялась сертификацией своих площадок, что даёт больше возможностей для использования облачных вычислений компаниям из строго регулируемых отраслей. Наконец, компания создала партнёрскую программу, в рамках которой квалифицированные технологические партнёры будут обучаться развёртыванию приложений на новой платформе.

Новые процессоры Intel Xeon с архитектурой Sapphire Rapids навёрстывают упущенное и находят своё место в новых моделях серверов. На этот раз о новинках объявила компания Atos, представившая вычилительную систему BullSequana SH класса HPC и новые серверы в серии EX.

Система BullSequana SH является модульной и расширяемой, базовым строительным блоком служит модуль SH20 с двумя процессорам Sapphire Rapids и 32 слотами DDR5 с поддержкой Optane PMem 300. Опциально такой модуль может нести на борту и пару DPU или GPU. До четырёх таких блоков можно объединить в единую систему с 8 процессорами, 32 Тбайт оперативной памяти и 8 ускорителями. Для этого нужны лишь UPI-коннекторы.

Однако это не предел: с помощью специального модуля UBox высотой 3U, систему можно расширять и далее, не прибегая к помощи InfiniBand или иных сетей. Модуль UBox содержит внутри два контроллера Intel Ultra Path Interconnect (UPI), что позволяет с помощью одного модуля объединить в единую NUMA-систему до 16 процессоров. С помощью ещё одного UBox это число можно довести до 32 — именно такую конфигурацию имеет старшая модель BullSequana SH320.

Источник изображений здесь и далее: Atos

Все решения в серии SH поддерживают новые модели Xeon с числом ядер от 8 до 60 и частотами до 4,2 ГГц. Каждый модуль располагает двумя (1+1) блоками питания мощностью от 2200 до 3000 Вт, а также 12 вентиляторами с возможностью горячей замены. Для загрузки ОС в каждом модуле имеется 2 слота M.2, но опционально доступны дополнительные модули для установки NVMe-накопителей, а также корзины для GPU и PCIe-устройств с поддержкой горячей замены.

Компания также уделила внимание периферийным вычислениям: для этой сферы предназначены новые серверы BullSequana Edge EXR и EXD в корпусах 1U и 2U соответственно. Системы рассчитаны на использование процессоров Sapphire Rapids с числом ядер не более 24 и теплопакетом, не превышающим 185 Вт. Серверы могут функционировать при температурах от 0 до +45 °C в диапазоне влажности от 5% до 95%. Предусмотрена возможность крепления на стену.

Модельный ряд BullSequana SH

При этом предусмотрена возможность установки широкого ассортимента различных ускорителей — в спецификациях упоминаются NVIDIA T4, L40, H100, A2 и A16. Опционально в состав систем может входить поддержка беспроводных сетей LTE/5G, LoRA и Wi-Fi 6, поэтому серверы отлично подойдут и для развёртывания на периферии беспроводной инфраструктуры нового поколения.

BullSequana Edge EXD (сверху) и EXR

Модель EXR располагает 2 слотами M.2, но может комплектоваться дополнительной корзиной на 6 дисков SATA или 8 NVMe-накопителей, а EXD в некоторых конфигурациях может вмещать до 8 накопителей M.2 NVMe. Обе модели комплектуются двухпортовым 10GbE-контроллером (опционально 25GbE). Все новые системы Atos на базе новых процессоров Intel Xeon обеспечивают высокую степень безопасности благодаря поддержке Atos Root of Trust и Atos Chain-of-Trust.